监督的学习任务,例如GigaiPixel全幻灯片图像(WSIS)等癌症存活预测是计算病理学中的关键挑战,需要对肿瘤微环境的复杂特征进行建模。这些学习任务通常通过不明确捕获肿瘤内异质性的深层多企业学习(MIL)模型来解决。我们开发了一种新颖的差异池体系结构,使MIL模型能够将肿瘤内异质性纳入其预测中。说明了基于代表性补丁的两个可解释性工具,以探测这些模型捕获的生物学信号。一项针对癌症基因组图集的4,479吉普像素WSI的实证研究表明,在MIL框架上增加方差汇总可改善五种癌症类型的生存预测性能。
translated by 谷歌翻译
作为分布式学习范式,由于许多模型同步和聚合,联合学习(FL)面临通信瓶颈问题。异质数据通过导致缓慢的收敛性进一步恶化了情况。尽管已经广泛研究了数据异质性对受监督的FL的影响,但联合加固学习(FRL)的相关研究仍处于起步阶段。在本文中,我们首先定义了基于策略梯度的FRL系统的数据异质性的类型和水平。通过检查全球和本地目标功能之间的联系,我们证明本地培训可以使全球目标受益,如果本地差异(TV)在本地和全球政策之间的距离(TV)距离适当地惩罚。从本地政策中可以学习的全球政策的必要条件也被得出,这与异质性水平直接相关。基于理论结果,提出了基于Kullback-Leibler(KL)差异的惩罚,该惩罚与传统方法不同,该方法与惩罚参数空间中模型差异的常规方法不同,直接限制了分布空间中的模型输出。还提供了所提出算法的收敛证明。通过将当地政策与全球政策的差异共同惩罚,并以全球惩罚,并以当地惩罚来限制本地培训的每一次迭代,拟议的方法在训练速度(步骤大小)和融合之间取得了更好的权衡。两个流行的强化学习(RL)实验平台的实验结果证明了所提出的算法比现有方法在加速和稳定训练过程中使用异质数据的优势。
translated by 谷歌翻译
Deep learning-based approaches have been developed to solve challenging problems in wireless communications, leading to promising results. Early attempts adopted neural network architectures inherited from applications such as computer vision. They often yield poor performance in large scale networks (i.e., poor scalability) and unseen network settings (i.e., poor generalization). To resolve these issues, graph neural networks (GNNs) have been recently adopted, as they can effectively exploit the domain knowledge, i.e., the graph topology in wireless communications problems. GNN-based methods can achieve near-optimal performance in large-scale networks and generalize well under different system settings, but the theoretical underpinnings and design guidelines remain elusive, which may hinder their practical implementations. This paper endeavors to fill both the theoretical and practical gaps. For theoretical guarantees, we prove that GNNs achieve near-optimal performance in wireless networks with much fewer training samples than traditional neural architectures. Specifically, to solve an optimization problem on an $n$-node graph (where the nodes may represent users, base stations, or antennas), GNNs' generalization error and required number of training samples are $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ times lower than the unstructured multi-layer perceptrons. For design guidelines, we propose a unified framework that is applicable to general design problems in wireless networks, which includes graph modeling, neural architecture design, and theory-guided performance enhancement. Extensive simulations, which cover a variety of important problems and network settings, verify our theory and the effectiveness of the proposed design framework.
translated by 谷歌翻译
罕见的事件搜索使我们能够通过利用专门的大型探测器来搜索无法与其他方式无法访问的新物理学。机器学习提供了一种新工具来最大化这些检测器提供的信息。信息很少,这迫使这些算法从最低级别的数据开始,并利用检测器中的所有对称性来产生结果。在这项工作中,我们提出了Kamnet,该Kamnet在几何深度学习和时空数据分析中实现了突破,以最大程度地提高Kamland-Zen的物理范围,Kamland-Zen是kiloton量表球形液体闪烁体检测器,以寻找中微子的中微子双β衰减($ 0 \ beta \ beta \ beta \ beta $) 。使用Kamland的简化背景模型,我们表明Kamnet在基准MC模拟上以较高的鲁棒性水平优于常规CNN。然后,我们使用模拟数据,证明了Kamnet将Kamland-Zen的敏感性提高到$ 0 \ nu \ beta \ beta \ beta $和$ 0 \ nu \ beta \ beta \ beta $的能力。这项工作的一个关键组成部分是增加了注意机制来阐明基础物理Kamnet用于背景排斥。
translated by 谷歌翻译
虽然深度学习方法近年来取得了高级视频对象识别性能,但在视频中感知封闭对象仍然是一个非常具有挑战性的任务。为促进遮挡理解的发展,我们在遮挡方案中收集一个名为OVIS的大规模数据集,用于遮挡方案中的视频实例分段。 ovis由296K高质量的屏幕和901个遮挡场景组成。虽然我们的人类视觉系统可以通过语境推理和关联来感知那些遮挡物体,但我们的实验表明当前的视频了解系统不能。在ovis数据集上,所有基线方法都遇到了大约80%的大约80%的大约80%,这表明仍然有很长的路要走在复杂的真实情景中理解模糊物体和视频。为了促进对视频理解系统的新范式研究,我们基于OVI数据集启动了挑战。提交的顶级执行算法已经比我们的基线实现了更高的性能。在本文中,我们将介绍OVIS数据集,并通过分析基线的结果和提交的方法来进一步剖析。可以在http://songbai.site/ovis找到ovis数据集和挑战信息。
translated by 谷歌翻译
有限的角度X射线断层扫描重建是一个不良反问题一般。特别是当投影角度有限并且在光子限制条件下进行测量时,来自经典算法的重建,例如过滤的反光,可能导致由于缺失的问题而获取伪影。为了获得令人满意的重建结果,通常在重建算法中结合在重建算法中的令人满意的重建结果,例如总变化最小化和非局部图像相似度。在这项工作中,我们介绍了深度神经网络,以确定并应用重建过程的先前分配。我们的神经网络直接从合成训练样本中学习。因此,神经网络获得了对我们对重建感兴趣的对象类的特定的先前分配。特别是,我们使用了具有3D卷积层和3D注意图层的深生成的模型,这些层在来自DubBed电路库的3D合成集成电路(IC)数据上培训。我们证明,当投影角度和光子预算受到限制时,来自我们深度生成模型的前沿可以显着提高合成数据的IC重建质量,而与最大似然估计相比。使用电路库的合成IC数据训练深度生成模型说明了从机器学习之前学到的学习功能。我们预计,如果使用实验数据再现过程,机器学习的优势将持续存在。机器学习在有限角X射线断层扫描的优点可以进一步能够在低光子纳米级成像中实现应用。
translated by 谷歌翻译
声学和视觉感测可以在人操纵时支持容器重量和其内容量的非接触式估计。但是,Opaquent和透明度(包括容器和内容的透明度)以及材料,形状和尺寸的可变性都会使这个问题具有挑战性。在本文中,我们向基准方法提出了一个开放框架,用于估计容器的容量,以及其内容的类型,质量和量。该框架包括数据集,明确定义的任务和性能测量,基线和最先进的方法,以及对这些方法的深入比较分析。使用单独的音频或音频和视觉数据的组合使用具有音频的神经网络的深度学习,用于分类内容的类型和数量,无论是独立的还是共同。具有视觉数据的回归和几何方法是优选的,以确定容器的容量。结果表明,使用仅使用Audio作为输入模块的方法对内容类型和级别进行分类,可分别获得加权平均F1-得分高达81%和97%。估计仅具有视觉视觉的近似接近和填充质量的容器容量,具有视听,多级算法达到65%的加权平均容量和质量分数。
translated by 谷歌翻译
卷积字典学习(CDL),估计来自数据的移位不变模板的问题,通常在模板上的先前/结构的情况下进行。在数据稀缺或低信噪比(SNR)制度中,学习模板会过度提供数据并缺乏平滑,这可能影响下游任务的预测性能。为了解决此限制,我们提出了GPCDL,一个卷积字典学习框架,该卷积字典学习框架在使用高斯过程(GPS)上强制对模板上的前提。随着对光滑度的重点,理论上,施加GP的理论上是等同于维纳滤波学习模板的维纳,从而抑制了高频分量并促进了平滑度。我们表明该算法是经典迭代重新重量最小二乘算法的简单扩展,与GP内核的选择无关。此属性允许有一个以不同的平滑度假设灵活实验。通过仿真,我们表明GPCDL学习顺利的词典,比在一系列SNR中的不断传扰的替代方案更好的准确性。通过应用于神经尖峰数据,我们表明GPCDL与非正规化CDL相比,GPCDL了解更准确和视觉可解释的顺利字典,导致卓越的预测性能,以及参数化。
translated by 谷歌翻译
我们的视频是否可以在场景中存在沉重的遮挡时感知对象?为了回答这个问题,我们收集一个名为OVIS的大型数据集,用于遮挡视频实例分段,即同时检测,段和跟踪遮挡场景中的实例。 OVIS由25个语义类别的296K高质量的掩码组成,通常发生对象遮挡。虽然我们的人类视觉系统可以通过语境推理和关联来理解那些被遮挡的情况,但我们的实验表明当前的视频理解系统不能。在ovis数据集上,最先进的算法实现的最高AP仅为16.3,这揭示了我们仍然处于创建对象,实例和视频中的新生阶段。我们还提出了一个简单的即插即用模块,执行时间特征校准,以补充闭塞引起的缺失对象线索。基于MaskTrack R-CNN和SIPMASK构建,我们在OVIS数据集中获得了显着的AP改进。 ovis数据集和项目代码可在http://songbai.site/ovis获得。
translated by 谷歌翻译
Federated learning (FL) is a machine learning setting where many clients (e.g. mobile devices or whole organizations) collaboratively train a model under the orchestration of a central server (e.g. service provider), while keeping the training data decentralized. FL embodies the principles of focused data collection and minimization, and can mitigate many of the systemic privacy risks and costs resulting from traditional, centralized machine learning and data science approaches. Motivated by the explosive growth in FL research, this paper discusses recent advances and presents an extensive collection of open problems and challenges.
translated by 谷歌翻译